แท็ก

#local AI

11 บทความ

llama.cpp 0.6.0: MTP ทำให้ Qwen3.8-Flash-Next decode เร็วขึ้น 1.55 เท่าบน DGX Spark, Mac รุ่น M1–M4 รัน speculative decoding เร็วขึ้นราว 3.6 เท่า, รองรับ GLM-5.3-Flash และมี breaking change ฝั่ง C API (llama_batch_ext)
เครื่องมือนักพัฒนา

llama.cpp 0.6.0: MTP ทำให้ Qwen3.8-Flash-Next decode เร็วขึ้น 1.55 เท่าบน DGX Spark, Mac รุ่น M1–M4 รัน speculative decoding เร็วขึ้นราว 3.6 เท่า, รองรับ GLM-5.3-Flash และมี breaking change ฝั่ง C API (llama_batch_ext)

llama.cpp ปล่อย v0.6.0 เมื่อ 5 ต.ค. 2026 (ตรงกับ build b11429) เพิ่ม MTP speculative decoding ให้ Qwen3.8-Flash-Next (decode เร็วขึ้นเฉลี่ย 1.55 เท่าบน DGX Spark) เพิ่มเคอร์เนล Metal สำหรับ Mac ที่ยังไม่มี tensor API ทำให้ DFlash2 บน M3 Ultra เร็วขึ้นจาก 30.2 เป็น 110 tok/s รองรับ GLM-5.3-Flash 320B ทั้งข้อความและภาพ และเปลี่ยน C API มาใช้ llama_batch_ext

· อ่าน 5 นาที
Ollama 0.35 รองรับโมเดลตัดสินใจอย่างเป็นทางการ — เพิ่ม endpoint /v1/systemone ตาม API ของ Jev พร้อม Nimble 9B และ Tev1 4B/0.8B ของ Together AI ให้ pull ได้ทันที
เครื่องมือนักพัฒนา

Ollama 0.35 รองรับโมเดลตัดสินใจอย่างเป็นทางการ — เพิ่ม endpoint /v1/systemone ตาม API ของ Jev พร้อม Nimble 9B และ Tev1 4B/0.8B ของ Together AI ให้ pull ได้ทันที

28 ก.ย. Ollama ปล่อย v0.35.0 (ยังติดป้าย pre-release) ที่เพิ่ม endpoint /v1/systemone ตาม API ของ Jev จาก TypeSafe ส่ง state กับคำถามเข้าไปแล้วได้ตัวเลือกพร้อมความน่าจะเป็นกลับมา มีโมเดลให้ pull สองตระกูล คือ Nimble 9B ของ Bespoke Labs และ Tev1 4B/0.8B ของ Together AI และใช้ Python SDK ของ TypeSafe ชี้มาที่ localhost ได้เลย

· อ่าน 4 นาที
llama.cpp b11195 เพิ่ม tiled mul_mat บน CPU — prompt processing ของโมเดล 27B แบบ k-quant เร็วขึ้น 1.9–3.5 เท่าบน x86 แต่ MoE ได้น้อยกว่ามาก และ ARM ยังไม่รองรับ
เครื่องมือนักพัฒนา

llama.cpp b11195 เพิ่ม tiled mul_mat บน CPU — prompt processing ของโมเดล 27B แบบ k-quant เร็วขึ้น 1.9–3.5 เท่าบน x86 แต่ MoE ได้น้อยกว่ามาก และ ARM ยังไม่รองรับ

PR #27851 ของ llama.cpp ถูก merge เมื่อ 26 ก.ย. และออกใน build b11195 เพิ่มเส้นทางคูณเมทริกซ์แบบ tiled บน CPU ที่ unpack ควอนต์ครั้งเดียวต่อไทล์ 256×256 ผลทดสอบของ bartowski บนโมเดล 27B แบบ dense พบ prompt eval เร็วขึ้น 1.9–3.5 เท่า แต่โมเดล MoE 35B-A3B ได้เพียง 1.08–1.53 เท่า ใช้ได้ดีที่สุดบน CPU ที่มี AVX-512 VNNI และยังไม่มีเวอร์ชัน ARM

· อ่าน 4 นาที
Ollaya — "Ollama สำหรับโมเดลตัดสินใจ" รัน Laya, Kev, Qwen3Guard ในเครื่องผ่าน API เดียวกับ TypeSafe ตอบใน 8–10 ms บน RTX 4090 พร้อม MCP server และ preset ตรวจคำสั่งของ agent
เครื่องมือนักพัฒนา

Ollaya — "Ollama สำหรับโมเดลตัดสินใจ" รัน Laya, Kev, Qwen3Guard ในเครื่องผ่าน API เดียวกับ TypeSafe ตอบใน 8–10 ms บน RTX 4090 พร้อม MCP server และ preset ตรวจคำสั่งของ agent

Ollaya เป็นเครื่องมือโอเพนซอร์ส Apache-2.0 ที่ดึงและเสิร์ฟโมเดลตัดสินใจแบบไม่สร้างข้อความ เช่น Laya, Kev, Von และ Qwen3Guard ในเครื่อง ด้วยคำสั่งแบบ Ollama และ API ที่ใช้แทน TypeSafe Jev ได้โดยเปลี่ยน environment variable ตัวเดียว ขึ้นหน้าแรก Hacker News 473 คะแนน และออก 5 เวอร์ชันใน 24 ชั่วโมง ส่วน Pydantic AI 2.50 ก็เพิ่มคลาส DecisionModel รองรับโมเดลประเภทนี้แล้ว

· อ่าน 4 นาที
Liquid AI ปล่อย LFM2.5-VL-DSpark — drafter 280M ทำให้ VLM 3B ถอดรหัสเร็วขึ้นสูงสุด 3.13 เท่าบน Mac แต่ภาพยังต้องผ่าน prefill เท่าเดิม end-to-end จึงเร็วขึ้นแค่ 1.3–2.6 เท่า
โมเดลใหม่

Liquid AI ปล่อย LFM2.5-VL-DSpark — drafter 280M ทำให้ VLM 3B ถอดรหัสเร็วขึ้นสูงสุด 3.13 เท่าบน Mac แต่ภาพยังต้องผ่าน prefill เท่าเดิม end-to-end จึงเร็วขึ้นแค่ 1.3–2.6 เท่า

Liquid AI เปิด DSpark drafter สำหรับโมเดลภาพ LFM2.5-VL-3B เมื่อ 24 ก.ย. 2026 ขนาด 280M (เพิ่มหน่วยความจำ 8.9%) ถอดรหัสเร็วขึ้น 2.30–3.13 เท่าบน M5 Max ผ่าน MLX และ 1.57–2.14 เท่าบน M3 Ultra ผ่าน llama.cpp โดยผลลัพธ์ไม่เปลี่ยน รองรับตั้งแต่วันแรกทั้ง llama.cpp, MLX-VLM และ SGLang เพราะ PR ถูก merge ครบแล้ว แต่ใบอนุญาตยังมีเพดานรายได้ 10 ล้านดอลลาร์ ไม่ใช่ "ไม่มีข้อจำกัด" อย่างที่บล็อกเขียน

· อ่าน 4 นาที
llama.cpp 0.5.0 ออกแล้ว + Vulkan int8 สำหรับ AMD RDNA3/4 — prompt processing บน Strix Halo เร็วขึ้นสูงสุด 1.36 เท่า แต่ต้องใช้ build b11160 ขึ้นไป ไม่ได้อยู่ใน 0.5.0
เครื่องมือนักพัฒนา

llama.cpp 0.5.0 ออกแล้ว + Vulkan int8 สำหรับ AMD RDNA3/4 — prompt processing บน Strix Halo เร็วขึ้นสูงสุด 1.36 เท่า แต่ต้องใช้ build b11160 ขึ้นไป ไม่ได้อยู่ใน 0.5.0

llama.cpp ปล่อย v0.5.0 เมื่อ 23 ก.ย. 2026 มาพร้อม ggml 0.25.0 รองรับ HRM-Text (DFM Mimir 1B) และแปลง MiMo-V2.6 ได้ --host ผูกได้หลายแอดเดรสรวมถึง UNIX socket และ function call ส่งภาพกลับได้ อีกหนึ่งวันต่อมา PR Vulkan int8 coopmat สำหรับ AMD RDNA3/RDNA4 ถูก merge ทำให้ pp512 บน Strix Halo เร็วขึ้น 1.06–1.36 เท่า แต่ฟีเจอร์นี้อยู่ใน nightly ตั้งแต่ b11160 ยังไม่อยู่ใน v0.5.0

· อ่าน 4 นาที
llama.cpp 0.4.0 ออกแล้ว — โหลดเทนเซอร์แบบขี้เกียจลด RAM ได้ 16%, --n-cpu-ffn สำหรับโมเดล dense และ sparse FA ที่เร็วขึ้น 2 เท่าเมื่อคอนเท็กซ์ยาว
เครื่องมือนักพัฒนา

llama.cpp 0.4.0 ออกแล้ว — โหลดเทนเซอร์แบบขี้เกียจลด RAM ได้ 16%, --n-cpu-ffn สำหรับโมเดล dense และ sparse FA ที่เร็วขึ้น 2 เท่าเมื่อคอนเท็กซ์ยาว

llama.cpp ปล่อย v0.4.0 เมื่อ 4 ก.ย. 2026 — เป็นเวอร์ชัน minor ที่สี่ภายใน 18 วัน เพิ่ม --lazy-mode ที่อ่านเทนเซอร์ขนาดใหญ่ผ่าน mmap แทนการโหลดทั้งก้อน (ลด peak RAM 16% แลกกับ tg ช้าลง 8-11%), --n-cpu-ffn สำหรับโมเดล dense และ sparse flash attention ที่ให้ 2.03 เท่าที่คอนเท็กซ์ 524K

· อ่าน 6 นาที
SGLang v0.5.19 ออกเช้านี้ — 786 PR, beam search ที่ยังใช้ร่วมกับ spec decoding ไม่ได้, radix tree รวมเป็นดีฟอลต์ และคู่มือรันโมเดลใหญ่บนการ์ดใบเดียว
เครื่องมือนักพัฒนา

SGLang v0.5.19 ออกเช้านี้ — 786 PR, beam search ที่ยังใช้ร่วมกับ spec decoding ไม่ได้, radix tree รวมเป็นดีฟอลต์ และคู่มือรันโมเดลใหญ่บนการ์ดใบเดียว

SGLang ปล่อย v0.5.19 เมื่อ 5 ก.ย. 2026 เวลา 02:27 UTC รวม 786 PR จากผู้ร่วมพัฒนา 214 คน — เพิ่ม beam search, ทำ unified radix tree เป็นดีฟอลต์ของทุกโมเดล, เร่ง decode บน AMD MI355X ได้ถึง 1.52 เท่า และเพิ่มคู่มือรัน MiniMax-H3 บน GPU 24 GB กับ Qwen3.8-27B บน RTX 5090 แต่มี breaking change 14 ข้อที่ต้องอ่านก่อนอัป

· อ่าน 7 นาที
llama.cpp เริ่มออกเวอร์ชันจริงจังแล้ว — v0.1.0 ถึง v0.1.2 ภายใน 24 ชั่วโมง หลังใช้เลข build มาตลอดหลายปี
เครื่องมือนักพัฒนา

llama.cpp เริ่มออกเวอร์ชันจริงจังแล้ว — v0.1.0 ถึง v0.1.2 ภายใน 24 ชั่วโมง หลังใช้เลข build มาตลอดหลายปี

llama.cpp ติดแท็ก v0.1.0 และ v0.1.1 เมื่อ 17 ส.ค. 2026 และออก v0.1.2 พร้อม release note อัตโนมัติเมื่อ 18 ส.ค. — จุดเริ่มต้นของการเลิกให้ผู้ใช้อ้างอิงเลข build แบบ b10485 ที่เปลี่ยนวันละหลายสิบครั้ง แม้จะยังติดสถานะ pre-release อยู่

· อ่าน 5 นาที
MOSS-VL — โมเดลภาษา-ภาพโอเพนเวต 11B ที่ "ดูไปพูดไป" ได้จริง ทุบสถิติ open-source บนสตรีมมิ่งวิดีโอ
โมเดลใหม่

MOSS-VL — โมเดลภาษา-ภาพโอเพนเวต 11B ที่ "ดูไปพูดไป" ได้จริง ทุบสถิติ open-source บนสตรีมมิ่งวิดีโอ

ทีม OpenMOSS ปล่อย technical report ของ MOSS-VL เมื่อ 15 ส.ค. 2026 — ตระกูลโมเดลภาษา-ภาพโอเพนเวต 11.3B ใบอนุญาต Apache-2.0 ที่ออกแบบให้ "มองเห็นขณะกำลังพูด" ได้ ทำคะแนน 66.0 บน OmniMMI Proactive Alerting เทียบกับ 37.5 ของคู่แข่งที่ดีที่สุด และมีเช็คพอยต์ FP8/NF4 ให้รันบน GPU 24GB ตัวเดียว

· อ่าน 6 นาที
DiffusionGemma: Google เปิดโมเดลภาษาแบบ diffusion — เขียนข้อความเร็วขึ้น 4 เท่า แก้ตัวเองได้กลางทาง
โมเดลใหม่

DiffusionGemma: Google เปิดโมเดลภาษาแบบ diffusion — เขียนข้อความเร็วขึ้น 4 เท่า แก้ตัวเองได้กลางทาง

เมื่อ 10 มิ.ย. Google ปล่อย developer guide ของ DiffusionGemma — โมเดล open weight 26B MoE ที่สร้างข้อความด้วย discrete diffusion แทนการไล่ทีละ token ทำให้เร็วขึ้นถึง 4 เท่า (1000+ tokens/วินาที บน H100) มองข้อความทั้งบล็อกพร้อมกันและแก้ที่ผิดได้กลางทาง

· อ่าน 5 นาที